图像增强对显著性目标检测的影响研究

目的 雾霾、雨雪天气和水下等非理想环境因素会引起图像退化,导致出现低质图像,从而影响人类主观视觉感受及机器视觉应用任务的性能,因此,低质图像被利用之前进行图像增强成为惯常的预处理过程。然而,图像增强能否提高图像机器视觉应用任务的性能及影响程度等问题鲜有系统性研究。针对上述问题,本文以图像显著性目标检测这一机器视觉应用为例,研究图像增强对显著性目标检测性能的影响。方法 首先利用包括5种传统方法、6种深度学习方法等共11种典型图像增强方法对图像进行增强处理,然后利用8种典型的显著性目标检测方法对增强前后的图像分别进行显著性目标检测实验,并对比分析其结果。结果 实验表明,图像增强对低质图像显著性目标检测方法性能的促进作用不明显,某些增强方法甚至表现出负面影响,也存在同一增强方法对不同的显著性目标检测方法作用不同的现象。结论 图像增强对于显著性目标检测及其他的机器视觉应用的实际效果值得进一步研究,如何根据图像机器视觉应用的需求来选择和设计有效的增强方法需进一步探讨。     

深度学习背景下视觉显著性物体检测综述

视觉显著性物体检测是对人类视觉和认知系统的模拟,而深度学习则是对人类大脑计算方式的模拟,将两者有机结合可以有效推动计算机视觉的发展。视觉显著性物体检测的任务是从图像中定位并提取具有明确轮廓的显著性物体实例。随着深度学习的发展,视觉显著性物体检测的精度和效率都得到巨大提升,但仍然面临改进主流算法性能、减少对像素级标注样本的依赖等主要挑战。针对上述挑战,本文从视觉显著性物体检测思想与深度学习方法融合策略的角度对相关论述进行分类总结。1）分析传统显著性物体检测方法带来的启示及其缺点,指出视觉显著性物体检测的核心思路为多层次特征的提取、融合与修整;2）从改进特征编码方式与信息传递结构、提升边缘定位精度、改善注意力机制、提升训练稳定性和控制噪声的角度对循环卷积神经网络、全卷积神经网络和生成对抗网络3种主流算法的性能提升进行分析,从优化弱监督样本处理模块的角度分析了减少对像素级标注样本依赖的方法;3）对协同显著性物体检测、多类别图像显著性物体检测以及未来的研究问题和方向进行介绍,并给出了可能的解决思路。     

结合轻量化骨干与多尺度融合的单阶段检测器

目的 基于卷积神经网络的单阶段目标检测网络具有高实时性与高检测精度,但其通常存在两个问题：1)模型中存在大量冗余的卷积计算;2)多尺度特征融合结构导致额外的计算开销。这导致单阶段检测器需要大量的计算资源,难以在计算资源不足的设备上应用。针对上述问题,本文在YOLOv5(you only look once version 5)的结构基础上,提出一种轻量化单阶段目标检测网络架构,称为E-YOLO(efficient-YOLO)。方法 利用E-YOLO架构构建了E-YOLOm(efficient-YOLO medium)与E-YOLOs(efficient-YOLO small)两种不同大小的模型。首先,设计了多种更加高效的特征提取模块以减少冗余的卷积计算,对模型中开销较大的特征图通过下采样、特征提取、通道升降维与金字塔池化进行了轻量化设计。其次,为解决多尺度特征融合带来的冗余开销,提出了一种高效多尺度特征融合结构,使用多尺度特征加权融合方案减少通道降维开销,设计中层特征长跳连接缓解特征流失。结果 实验表明,E-YOLOm、E-YOLOs与YOLOv5m、YOLOv5s相比,参数量分别下降了71.5%和61.6%,运算量下降了67.3%和49.7%。在VOC(visual object classes)数据集上的平均精度(average precision,AP),E-YOLOm比YOLOv5m仅下降了2.3%,E-YOLOs比YOLOv5s提升了3.4%。同时,E-YOLOm的参数量和运算量相比YOLOv5s分别低15.5%与1.7%,mAP@0.5和AP比其高3.9%和11.1%,具有更小的计算开销与更高的检测效率。结论 本文提出的E-YOLO架构显著降低了单阶段目标检测网络中冗余的卷积计算与多尺度融合开销,且具有良好的鲁棒性,并优于对比网络轻量化方案,在低运算性能的环境中具有重要的实用意义。     

基于深度学习的人—物交互关系检测综述

人—物交互关系检测旨在通过精细化定位图像或视频中产生特定动作行为的人,以及与其产生交互关系的物体,并识别人和物体之间的动作关系来理解和分析人体的行为。人—物交互关系检测是一个非常具有实际应用意义和前瞻性的研究方向,是高层视觉理解的关键基石。随着深度学习的发展,基于深度学习的研究方法引领了近期人—物交互关系检测研究的进步。本文一方面分析空域人—物交互关系检测任务,从数据内容场景、标注粒度两个方面总结和分析当下数据库和基准。然后从两阶段分段式方法和单阶段端到端式方法两个流派出发系统性地阐述当前检测方法的发展现状,分析两个流派方法的特性和优劣,厘清该领域方法的发展路线。其中,两阶段方法包括多流模型和图模型两种主要范式,而单阶段模型包括基于框的范式、基于关系点的范式和基于查询的范式。另一方面,对时空域人—物交互关系检测任务进行总结,分析现有时空域交互关系数据集构造与特性和现有基线算法的优劣。最后对未来的研究方向进行展望。     

形状的全尺度可视化表示与识别

目的 视觉目标的形状特征表示和识别是图像领域中的重要问题。在实际应用中,视角、形变、遮挡和噪声等干扰因素造成识别精度较低,且大数据场景需要算法具有较高的学习效率。针对这些问题,本文提出一种全尺度可视化形状表示方法。方法 在尺度空间的所有尺度上对形状轮廓提取形状的不变量特征,获得形状的全尺度特征。将获得的全部特征紧凑地表示为单幅彩色图像,得到形状特征的可视化表示。将表示形状特征的彩色图像输入双路卷积网络模型,完成形状分类和检索任务。结果 通过对原始形状加入旋转、遮挡和噪声等不同干扰的定性实验,验证了本文方法具有旋转和缩放不变性,以及对铰接变换、遮挡和噪声等干扰的鲁棒性。在通用数据集上进行形状分类和形状检索的定量实验,所得准确率在不同数据集上均超过对比算法。在MPEG-7数据集上精度达到99.57%,对比算法的最好结果为98.84%。在铰接和射影变换数据集上皆达到100%的识别精度,而对比算法的最好结果分别为89.75%和95%。结论 本文提出的全尺度可视化形状表示方法,通过一幅彩色图像紧凑地表达了全部形状信息。通过卷积模型既学习了轮廓点间的形状特征关系,又学习了不同尺度间的形状特征关系。本文方法在视角变化、局部遮挡、铰接变形和噪声等干扰下能保持较高的识别正确率,可应用于图像采集干扰较多以及红外或深度图像的目标识别,并适用于大数据场景下的识别任务。     

结合目标检测与匹配修正的手腕骨兴趣区域提取

目的 在骨龄智能评估研究中,如何准确地提取手腕参照骨的兴趣区域（region of interest,ROI）是保证骨龄精确评估的关键。基于传统深度学习的方法用于手腕骨ROI提取,存在个别参照骨漏判、误判等情况,导致平均提取准确率较低。本文结合目标检测强大的定位和识别能力,以准确提取所有手腕骨ROI为目的,提出了一种参照骨自动匹配与修正方法。方法 针对不同参照骨形状、位置等特征表现出的规律性和关联性,本文采集了大量不同性别、不同年龄段的人手腕图谱作为参照骨样本匹配,然后分多个阶段提取参照骨ROI：1）基于目标检测算法初步提取出所有参照骨候选ROI,并根据一定的阈值剔除置信度较低的区域;2）结合参照骨的大数据样本构建位置点匹配模型,对剔除区域进行自动匹配与填补,保证ROI提取的完整性;3）通过多尺度滑动窗口以及ROI分类模型,对填补得到的ROI位置进行滑动修正,进一步保证提取准确率。结果 实验结果表明,本文结合目标检测与匹配修正的方法优于现有绝大多数方法。其中,匹配修正方法在目标检测算法的提取结果基础上,提升了约1.42%的平均准确率,当结合Faster R-CNN （region-convolutional neural network）算法时能达到最高98.45%的交并比（intersection-over-union,IoU）准确率。结论 本文方法利用手腕骨的位置特征,对个别提取困难的参照骨类型进行重新匹配与修正,有效地弥补了传统方法泛化能力不足的缺点。本文方法能够同时面向人手腕中所有参照骨ROI提取,具备良好的扩展性和易操作性。     

融合视觉词与自注意力机制的视频目标分割

目的 视频目标分割(video object segmentation,VOS)是在给定初始帧的目标掩码条件下,实现对整个视频序列中感兴趣对象的分割,但是视频中往往会出现目标形状不规则、背景中存在干扰信息和运动速度过快等情况,影响视频目标分割质量。对此,本文提出一种融合视觉词和自注意力机制的视频目标分割算法。方法 对于参考帧,首先将其图像输入编码器中,提取分辨率为原图像1/8的像素特征。然后将该特征输入由若干卷积核构成的嵌入空间中,并将其结果上采样至原始尺寸。最后结合参考帧的目标掩码信息,通过聚类算法对嵌入空间中的像素进行聚类分簇,形成用于表示目标对象的视觉词。对于目标帧,首先将其图像通过编码器并输入嵌入空间中,通过单词匹配操作用参考帧生成的视觉词来表示嵌入空间中的像素,并获得多个相似图。然后,对相似图应用自注意力机制捕获全局依赖关系,最后取通道方向上的最大值作为预测结果。为了解决目标对象的外观变化和视觉词失配的问题,提出在线更新机制和全局校正机制以进一步提高准确率。结果 实验结果表明,本文方法在视频目标分割数据集DAVIS (densely annotated video segmentation)2016和DAVIS 2017上取得了有竞争力的结果,区域相似度与轮廓精度之间的平均值J&F-mean (Jaccard and F-score mean)分别为83.2%和72.3%。结论 本文提出的算法可以有效地处理由遮挡、变形和视点变化等带来的干扰问题,实现高质量的视频目标分割。     

基于动态焦点损失函数和样本平衡方法的绝缘子缺陷检测方法

在航拍输电线路图像的绝缘子缺陷检测任务中,针对不同类型缺陷之间存在的样本数量不平衡、困难样本低效学习等问题,提出一种动态焦点损失函数和一种基于二阶矩的样本平衡方法。首先在前向传播过程中根据困难样本、简单样本分布变化动态求解焦点损失函数的衰减因子,然后利用样本损失离散值定位出困难样本、简单样本的边界,从而获得困难样本集合,最后在反向传播过程中根据不同样本损失的二阶矩对学习样本的贡献率分布进行平衡。实验结果表明所提多类绝缘子缺陷检测方法能够有效地学习到不同样本的深度特征,性能较其他方法有显著的提升。     

便携式设备无线充电技术发展及关键技术

随着无线电能传输技术的不断发展,其在便携式设备中展现出良好的应用前景。相比传统的有线充电,便携式设备无线充电的方式具有灵活、便捷、高通用性等优点,但在实际应用中又存在其特殊性。为此,该文对便携式设备无线充电技术的发展现状进行了梳理,首先介绍了现有的便携式设备无线充电产品的主流标准;然后给出了系统的基本结构,并归纳了其特点;接着根据上述特点从平面线圈设计、空间无线电能传输、异物检测、多负载、电磁问题等方面论述了便携式设备无线充电关键技术的研究现状;最后展望了便携式设备无线充电技术今后进一步的发展方向。     

公租房保障对象收入申报管理研究

针对公租房租金流失问题,借鉴A-S模型分析思路,构建基于固定租金、比例租金和混合租金三种情景的公租房保障对象收入申报遵从理论分析框架,探讨提高抽查率、加大惩罚力度、提高奖励力度和增加收入等对保障对象的收入申报遵从行为的影响;最后,提出完善公租房保障对象收入申报机制的建议。